正则表达式在网页数据采集的应用与研究

【摘要】随着Internet的快速发展与普及,人们越来越习惯于通过各种终端(PC、平板、手机等)从互联网来获取信息。基于Web的信息抽取技术就是研究从这些Web网页中如何定制提取出用户需要的信息,并把这些提取出的信息结构化处理。本文的主要工作是采用基于正则表达式的相关技术,以学术谷歌网站的论文采集以及澳客彩票网站的足彩投注数据采集分析两个应用为实例,给出Web网页信息的自动提取问题解决方法。在实现基于NFA引擎正则表达式网页提取基本功能的基础上,本文还对正则表达式的优化进行了分析和比较。本文在网页正则提取的过程中进行了两轮的优化和分析,分别为基于NFA引擎的表达式优化以及在Windows平台下结合NFA引擎与DFA引擎使用的优化分析和比较,其结果以图表的形式加以展示。本文实现两个网页实例采集的解决方案是：首先使用RegexBuddy3工具对目标网页源文件调试正则表达式,然后在.Net平台下,利用测试通过的正则表达式编程实现网页文件正则匹配提取字段、数据记录写入Oracle数据库等操作,并对数据做图表展示分析等。本文的方法能够对学术谷歌论文基本信息的批量提取以及论文的多线程批量下载以及澳客彩票网站足彩信息的批量提取与分析。本文采用的方法支持HTML标签的过滤以及HTML页面内各种数据的采集,对网页采集的记录、字段提取准确性高。
【作者】左智斌；
【导师】斯勤夫；
【作者基本信息】内蒙古大学，计算机科学与技术，2014，硕士
【关键词】正则表达式；网页信息采集；彩票；学术谷歌；信息抽取；

【参考文献】
[1]魏静波,刘昆,吴锦杰.惯性定向三轴稳定卫星姿态自适应滑模控制[J].控制与决策,2013,08:1231-1234+1241.
[2]何锡祺,齐郑,杨以涵,李新泉,董迪,孙博闻.并联电抗器组合式消弧线圈的研究[J].电力系统自动化,2008,03:92-96.
[3]叶仁雄.孔子中和之美的时空阐释[D].湘潭大学,比较文学与世界文学,2003,硕士.
[4]张倩.论我国动物保护法的建立[D].兰州大学,民商法学（专业学位）,2013,硕士.
[5]李勇,赵元旭.信息整合谁为先[J].中国计算机用户.2006(44)
[6]许钦桓.基于柔性多体动力学的船用水泵振动特性分析[D].江苏科技大学,机械制造及其自动化,2014,硕士.
[7]王冠男.大连市高校太极拳教学现状调查与对策[D].辽宁师范大学,民族传统体育学,2012,硕士.
[8]陈冠洲.船用起货装置电功率的计算法[J].舰船科学技术.1993(04)
[9]衣标美.头穴丛刺结合电针对脑卒中后肩手综合征的临床研究[D].黑龙江中医药大学,中医学（专业学位）,2013,硕士.
[10]赵知纬.面向信息抽取的中文跨文本指代消解研究[D].苏州大学,计算机应用技术,2013,硕士.
[11]陈永江.香港中国银行新厦评介[J].新建筑.1985(03)
[12]杨赟卿.大型绞吸泵的结构设计及流态分析[D].浙江海洋学院,农业机械化（专业学位）,2014,硕士.
[13]李林森.一种PMIPv6快速切换路由优化方案[D].郑州大学,计算机应用技术,2013,硕士.
[14]吴超.基于FPGA的红外图像USB接口技术研究[D].北方工业大学,信号与信息处理,2014,硕士.
[15]阳文锐.长期施用生物有机肥对土壤生物学特性的影响研究[D].中国农业大学,生态学,2004,硕士.
[16]佟伟.‘寒富’苹果采收期及气调参数研究[D].中国农业科学院,园艺（专业学位）,2012,硕士.
[17]袁巧玲,计时鸣,文东辉,谭大鹏,张利.基于改进的低雷诺数湍流模型的软性磨粒流加工仿真与实验[J].中国机械工程,2014,06:800-807.
[18]王新华.论我国个人所得税法的完善[D].苏州大学,法律,2003,硕士.
[19]王震.新型可见光催化剂的制备及其性能研究[D].浙江大学,环境工程,2014,博士.
[20]于秋莹.中美生产性服务贸易竞争力比较分析[D].辽宁大学,国际贸易学,2012,硕士.
[21]李海舰.山东省科学院发展战略研究[D].大连理工大学,工商管理,2003,硕士.
[22]李胜男.航空涡轴发动机重量估算及适航分析[D].南京航空航天大学,航空宇航推进理论与工程,2012,硕士.
[23]关志华,寇纪淞,李敏强.一种改进的遗传算法ScatterGA[J].控制与决策,2002,05:579-582+634.
[24]武向炜.内蒙古文化软实力对策研究[D].内蒙古大学,马克思主义理论,2013,硕士.
[25]孙蓓蓓.基于J2EE的网络信息资产管理系统设计与实现[D].西安电子科技大学,软件工程,2012,硕士.
[26]董健康.面向数字校园的信息系统集成构架[J].甘肃政法成人教育学院学报,2005,04:171-172.
[27]杨静,邱菀华.基于投影技术的三角模糊数型多属性决策方法研究[J].控制与决策,2009,04:637-640.
[28]张博.基于Harris和QGA的航空遥感图像配准[D].东北大学,控制理论与控制工程,2009,硕士.
[29]田易.上海城市公园土壤有机碳特征研究[D].华东师范大学,生态学,2013,硕士.
[30]李炜.汽车发动机机油泵性能优化研究[D].上海工程技术大学,车辆工程,2011,硕士.
[31]张丽美.利用菌糠生产益生菌制剂适宜发酵条件的研究[D].东北农业大学,动物营养与饲料科学,2013,硕士.
[32]田秀丽.抑郁症患者前额叶、海马质子波谱特点与认知功能改变的相关研究[D].新乡医学院,精神病与精神卫生学,2012,硕士.
[33]马鑫,闫铁柱,曹洪涛,陈少波.流域非点源污染文献计量分析[J].农业图书情报学刊,2014,06:55-61.
[34]王祥任.反倾岩质边坡的变形破坏分析及其支护技术研究[D].西安科技大学,建筑与土木工程,2014,硕士.
[35]李超祥.监视居住制度研究[D].华中师范大学,法律,2013,硕士.
[36]陈曦.LLC谐振变换器控制性能分析及优化研究[D].华中科技大学,电力电子与电力传动,2013,硕士.
[37]宋铁藩.陀螺罗经回路的非连续控制法[J].舰船科学技术.1993(03)
[38]李艳.公共服务视角下武汉市社区文化建设研究[D].湖北大学,行政管理,2011,硕士.
[39]郜宗瀚.民主党执政时期日本外交决策机制变化研究[D].外交学院,外交学,2014,硕士.
[40]王海婧.水闸安全鉴定技术研究与实践[D].山东大学,建筑与土木工程（专业学位）,2013,硕士.
[41]于肪苏.公共外交视域下中国体育外交的时代责任[D].吉林大学,体育人文社会学,2014,硕士.
[42]闭俏丽.广西瑶族地区中小学教育特色发展的问题及对策研究[D].西南大学,教育学原理,2013,硕士.
[43]鲍洋.食品金属罐内涂层中6种双酚类物质的检测及迁移规律的研究[D].江南大学,营养与食品卫生学,2012,硕士.
[44]甘进.基于WEB的网络教学平台的设计与应用[D].电子科技大学,软件工程（专业学位）,2012,硕士.
[45]鲍忠孝.谈“古咏叹调”对美声唱法演唱训练的重要性[D].天津音乐学院,音乐（专业学位）,2013,硕士.
[46]罗歆.湘南地区承接珠三角地区产业转移存在的问题与对策研究[D].中南林业科技大学,农村与区域发展,2013,硕士.
[47]俞佳.基于荧光共振能量转移的有机染料纳米颗粒的生物应用研究[D].苏州大学,材料学,2014,硕士.
[48]田自卫.我国证券监管制度研究[D].湘潭大学,经济法,2003,硕士.
[49]胡佳,贾义霞,项斌.钯催化的3,3’-螺-2-吲哚酮的合成研究[J].浙江化工,2014,10:20-22+27.
[50]马腾.我国量刑规范化现状评析及完善思路[D].甘肃政法学院,刑法学,2011,硕士.